from langchain_text_splitters import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=50,
    chunk_overlap=20,
    length_function=len,
    separators=["\n\n", "\n", " ", ""],
)

simple_text = """
自然语言处理(Natural Language Processing, NLP)是人工智能的一个重要分支。
它研究如何让计算机理解、解释和生成人类语言。

NLP的应用非常广泛，包括机器翻译、情感分析、智能问答系统等。
深度学习技术的发展极大地推动了NLP领域的进步。
"""

docs = text_splitter.create_documents([simple_text])
for i, doc in enumerate(docs):
    print(f"Chunk {i+1}:")
    print(doc.page_content)
    print("-" * 50)
